Disclaimer


Meine Kenntnisse bzgl.

Open Science, Forschungssynthesen


AI

Open Science bei Forschungssynthesen


Studien, die PRISMA-Kriterien in Forschungssynthesen beurteilen

  • Wong & Bouchard (2023): Keine von 33 Metaanalysen vollständig reproduzierbar (22 Kriterien, PRISMA-basiert).
  • Sun et al. (2019): 64 Synthesen, durchschnittlich 19/27 PRISMA- und 6/11 AMSTAR-Punkte.
  • Maticic et al. (2019): Über 60 % von 244 Synthesen berichten weniger als 50 % der PRISMA-A-Kriterien.
  • Lakens et al. (2017): Nur 4 % der 20 Metaanalysen erfüllen Dokumentationsstandards, 25 % nicht reproduzierbar.
  • Polanin et al. (2020): 155 Studien berichten im Durchschnitt 55 % der PRISMA-Kriterien.

Open Science bei Forschungssynthesen

Schneider & Heck (2024)

Open Science bei Forschungssynthesen


Warum so wenig open data?

  • Educational Research Review (Vol. 45, Nov):
    • no data: 5
    • open data: 2
    • “available on request”: 7
      closed data auf Zenodo/OSF geht fast immer! DOI in paper
  • Aus König et al.: “we acquired data from 28 meta-analyses” von 180 der Recherche?


Warum so wenige Präregistrierungen?

  • Educational Research Review (Vol. 45, Nov):
    2/14 Artikel mit Präregistrierungen
  • PROSPERO “systematic reviews with a health-related outcome”
  • Templates gibt es auch bei uns (Schneider et al., 2022)

Vorgehen


Diskussion der Beiträge entlang

  • Präregistriert/ Registered Report
  • FAIR Data
  • Reproduzierbarkeit
  • Publikationsformat
  • Wo sind Stärken?
  • Wo sind Herausforderungen?
  • Was können wir alle daraus mitnehmen?

“Ein systematischer Überblick über Tools”

Fütterer et al. 


  • KI-Tools verringern die Arbeitsbelastung -> weniger Ermüdung, weniger Verzerrungen/Fehler
  • Recherche, Analyse und Testung von Tools -> spart Kolleg:innen Zeit, stellt Qualität sicher


Präregistriert/ Registered Report

Sinnvoll anwendbar? (evtl. exclusion criteria)

FAIR Data

(.xlsx -> .csv = human readable)

Reproduzierbarkeit

Suchstrategie, Screening & Coding manual
“Daten” = Software = nicht teilbar

Publikationsformat

“Ein systematischer Überblick über Tools”

Fütterer et al. 

Anderes Publikationsformat?

  • Alternative: OER (z. B. Quarto Book) bietet interaktive Möglichkeiten, Ergänzungen & Updates (längere Halbwertszeit).
  • Ermöglicht kollaboratives Arbeiten: Kolleg*innen können per Pull-Request Inhalte ergänzen.
  • Begrenzung durch Word-Limits entfällt.

Die Verlockung klassischer Publikationsformate

  • „Währung der Wissenschaft“ (z.B. Einstellungsverfahren, Forschendenevaluation)
  • Es fehlen etablierte Alternativen, um Informationen effektiv in die Community zu bringen.

Alternative Formate des Forschungsbeitrags: Anreize

  • Etablierte Professor:innen: Universität/Einrichtung CoARA (2022) unterzeichnen, action plan umsetzen
  • Wiss. Gesellschaften: Position beziehen, schriftlich fixieren (z.B. Stellungnahme der GEBF-OSI?)

“Abbruchregeln im KI-gestützten Screening”

König et al. 


  • verringerte Arbeitsbelastung beim Screening -> weniger Ermüdung, weniger Verzerrungen/Fehler
  • Vielfalt an Stopping rules, Learning algorithms/classification methods, Softwares


Präregistriert/ Registered Report

+ dokumentierte Abweichung

FAIR Data

Reproduzierbarkeit

übersichtliche Ordnerstruktur & Dateibenennung. Siehe z.B. Psych-DS
Benennung der Software- & Paketversionen? (alternativ: renv, groundhog)

Publikationsformat

“Abbruchregeln im KI-gestützten Screening”

König et al. 



“Preregistration: A Plan, Not a Prison” (DeHaven, 2017)

“Abbruchregeln im KI-gestützten Screening”

König et al. 



  • Neue Artikel- & Publikationsformate sinnvoll?
    • Executable Research Article (z.B. eLife) (Lasser, 2020)
    • Quarto Markdown-Dokument (Input, Output, Text, Bilder, …)
    • Jupyter Notebooks
  • Wie die nächsten Schritte gehen?
    • Verlage haben keinen Grund für Änderungen
    • Diese müssen von uns angestoßen werden - we’ve got the power ;)

“Abbruchregeln im KI-gestützten Screening”

König et al. 

eLife: Executable Research Article

“Abbruchregeln im KI-gestützten Screening”

König et al. 


Einführung Quarto

“Einsatz von Large Language Models”

Chernikova & Stadler


  • Unterstützung von LLM bei Forschungssynthesen (screening, extracting information, coding)
  • Niederschwelliger als machine learning


Präregistriert/ Registered Report

(bisher) keine Information

FAIR Data

(bisher) keine Information

Reproduzierbarkeit

Publikationsformat

laufende Untersuchung

“Einsatz von Large Language Models”

Chernikova & Stadler


Reproduzierbarkeit:

Unabhängige Forschende, die
dieselben Daten und Analyseverfahren verwenden,
gelangen zu identischen Resultaten


“In principle, all reported evidence should be reproducible” (Nosek et al., 2022, S. 721)

Mit proprietären LLMs

“Einsatz von Large Language Models”

Chernikova & Stadler


LLM / AI wird wohl intransparent bleiben


(Reuters, January 22, 2025)

Aber

ist proprietäre AI wirklich weniger transparent als ein “trained rater”?

  • Input (z.B. Kodiersystem) wird definiert
  • Output wird dokumentiert

“Einsatz von Large Language Models”

Chernikova & Stadler

  • Dokumentation der Modelle, Einstellungen
  • temperature = 0?
    “A temperature of 0 would make the model completely deterministic, always choosing the most likely token.”
  • Zugriff auf ältere Modelle nach Updates evtl. nicht möglich

=> AG innerhalb der GEBF sinnvoll? (z.B. im Austausch mit der AG Open Science)

Zum Abschluss

ein Vorschlag & Ressourcen


  • Folien teilen als Standard?
  • Repositorien, z.B. Zenodo oder OSF
    • DOI = zitierbar (!)
    • URL-Kürzer, z.B. t1p.de (keine Datenkrake)


Thank you



Jürgen Schneider

References

CoARA. (2022). Agreement on Reforming Research Assessment.
DeHaven, A. (2017). Preregistration: A Plan, Not a Prison. In Center for Open Science.
Lasser, J. (2020). Creating an executable paper is a journey through Open Science. Communications Physics, 3(1), 143. https://doi.org/10.1038/s42005-020-00403-4
Nosek, B. A., Hardwicke, T. E., Moshontz, H., Allard, A., Corker, K. S., Dreber, A., Fidler, F., Hilgard, J., Kline Struhl, M., Nuijten, M. B., Rohrer, J. M., Romero, F., Scheel, A. M., Scherer, L. D., Schönbrodt, F. D., & Vazire, S. (2022). Replicability, Robustness, and Reproducibility in Psychological Science. Annual Review of Psychology, 73(1), 719–748. https://doi.org/10.1146/annurev-psych-020821-114157
Schneider, J., Backfisch, I., & Lachner, A. (2022). Facilitating Open Science Practices for Research Syntheses: PreregRS Guides Preregistration. Research Synthesis Methods, 13(2), 284–289. https://doi.org/10.1002/jrsm.1540
Schneider, J., & Heck, T. (2024). Reproduzierbarkeit bei Forschungssynthesen. Herausforderungen und Lösungsansätze. In A. Wilmers (Ed.), Bildung im digitalen Wandel. Forschungssynthesen im Metavorhaben Digi-EBF. Methode, Auswertung, Perspektiven (pp. 161–189). Waxmann Verlag GmbH. https://doi.org/10.31244/9783830999126.08

Credit

Title page

Icons by Font Awesome CC BY 4.0

Slides: t1p.de/gebf25-diskussion-ai